Hoàng Xuân Nhị sinh năm 1914, quê ở làng Yên Hồ, huyện La Sơn, phủ Đức Thọ, nay là xã Đức Nhân, huyện Đức Thọ, tỉnh Hà Tĩnh.

Ông xuất thân từ một dòng họ Nho học có truyền thống khoa bảng, là bà con họ hàng với học giả Hoàng Xuân Hãn.

Mồ côi mẹ từ nhỏ, ông đi học ở Vinh, Nghệ An, lấy bằng Thành Chung ở Quốc học Huế; sau đó theo học Khoa Luật tại Trường Đại học Đông Dương, Hà Nội.

Năm 1936, Hoàng Xuân Nhị đi du học ở Pháp nhờ học bổng của Hội khuyến khích du học, chuyên nghiên cứu về văn chương và triết học.

Năm 1937, ông tốt nghiệp cử nhân triết học và văn chương tại Trường Đại học Sorbone danh tiếng của Pháp. Trong thời gian tham gia giảng dạy và nghiên cứu tại Pháp, Hoàng Xuân Nhị dịch nhiều tác phẩm văn học cổ điển Việt Nam như truyện thơ Nôm Lưu Bình Dương Lễ, Cung oán ngâm khúc của Nguyễn Gia Thiều, Chinh phụ ngâm của Đặng Trần Côn, Truyện Kiều của Nguyễn Du... ra tiếng Pháp, dịch các tác phẩm về lịch sử văn học Nga, các tác phẩm của Maksim Gorky và Vladimir Vladimirovich Mayakovsky đăng trên tạp chí Mercure de France. Trong bối cảnh lúc bấy giờ Việt Nam chưa có tên nước mà bị coi là xứ Đông Dương thuộc Pháp (Indochine Francaise), việc truyền bá văn học Việt Nam cho công chúng Pháp thấm đậm tình người thể hiện lòng yêu nước thương nòi của ông.

Năm 1946, ông rời bỏ Thủ đô Pari hoa lệ về nước tham gia kháng chiến, phụ trách lĩnh vực văn hóa ở miền Nam theo lời kêu gọi của Chủ tịch Hồ Chí Minh.

Năm 1947, Hoàng Xuân Nhị được Ủy ban Kháng chiến hành chính Nam bộ giao phụ trách và là Tổng Biên tập tờ La Voix Du Maquis (Tiếng nói kháng chiến) - tờ báo ngoại ngữ đầu tiên ở chiến khu cách mạng. Đồng thời, ông được Ủy ban Kháng chiến hành chính Nam Bộ bổ nhiệm làm Giám đốc Viện Văn hóa Kháng chiến. Cùng với tờ La Voix Du Maquis, công tác địch vận của chính phủ kháng chiến khiến binh lính Âu, Phi trong quân đội Pháp bỏ hàng ngũ quân đội Pháp vào chiến khu theo kháng chiến ngày càng nhiều. Do giỏi tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Nga, Hoàng Xuân Nhị được giao làm chính trị viên của binh đoàn quốc tế gồm các binh sĩ rời bỏ hàng ngũ của Pháp.

Cũng năm 1947, Chính phủ Kháng chiến bổ nhiệm Hoàng Xuân Nhị làm Giám đốc Viện Văn hóa kháng chiến. Khi ngành văn hóa thống nhất với ngành giáo dục, Hoàng Xuân Nhị được bổ nhiệm làm Giám đốc Nha giáo dục Nam bộ. Ông còn được cử làm Ủy viên Ủy ban Kháng chiến hành chính Nam bộ và tham gia ban chấp hành Đảng Cộng sản khu ủy khu 9.

Năm 1949, Hoàng Xuân Nhị tham gia mở lớp sư phạm đặc biệt mang tên Phan Chu Trinh đào tạo văn hóa cho lực lượng kháng chiến, đào tạo đội ngũ giáo viên, trí thức mới cho Nam Bộ.

Sau Hiệp định Genève, Hoàng Xuân Nhị tập kết ra Bắc; Ông trực tiếp tham gia tiếp quản Viện Đại học Đông Dương của Pháp và thành lập Trường Đại học Tổng hợp Hà Nội năm 1956. Cùng với Tạ Quang Bửu, Ngụy Như Kon Tum, Lê Văn Thiêm, Nguyễn Hoán,...ông là một trong những trí thức tiền bối, những cây đại thụ đã tham gia đặt nền móng và xây dựng nền giáo dục đại học nước Việt Nam Dân chủ Cộng hòa non trẻ sau ngày hòa bình.

Năm 1957, Giáo sư Hoàng Xuân Nhị được giao trọng trách làm Chủ nhiệm khoa Ngữ văn tại Trường Đại học Tổng hợp Hà Nội (từ năm 1957 đến năm 1982) và là Ủy viên ban chấp hành Hội Văn nghệ Việt Nam.

Giáo sư Hoàng Xuân Nhị được Đảng và Nhà nước Việt Nam tặng thưởng Huân chương kháng chiến chống Pháp hạng Nhất, Huân chương kháng chiến chống Mỹ hạng Nhất, Huân chương Độc lập hạng Nhì, Huân chương Lao động hạng Ba.

Tháng 05/2014, Kỷ niệm 100 năm ngày sinh Giáo sư Hoàng Xuân Nhị, Trường Đại học Khoa học xã hội và Nhân văn, Đại học Quốc gia Hà Nội đã tổ chức Hội thảo khoa học " Giáo sư Hoàng Xuân Nhị – 100 năm cuộc đời và sự nghiệp".

Hoàng Xuân Nhị qua đời năm 1990.